from transformers import BertTokenizer
"""
需要安装：
pip install torch torchvision 
pip install tensorflow
pip install transformers
"""

# 加载预训练的分词器, 分词器bert-base-chinese 是针对中文的预训练分词器。git clone https://ai.gitee.com/hf-models/bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 定义句子
sentence = "行，走吧。在银行门口见。"

# 使用tokenizer将句子编码成token ID序列
encoded_input = tokenizer(sentence, return_tensors='pt')
# print(encoded_input)

# 获取token ID序列
tokens = encoded_input['input_ids'][0]
print(f"{sentence}")

# 打印token ID序列
print(f"Token ID序列: {tokens}")

# 计算token的数量
token_count = len(tokens)
print(f"Token 数量: {token_count}")
